본문으로 건너뛰기

로그 데이터

로그는 기록을 남기는 것을 말하는데 시스템이나 서비스의 상태를 확인하거나 버그, 오류를 찾기 위한 용도로 많이 사용된다. 로그를 쌓는 이유는 여러가지가 있는데 크게는 서비스에서 사용자의 액션이나 어떤 작업이나 작동의 내역을 남기는 로그와 개발자들이 애플리케이션의 오류를 쉽게 남기는 디버깅 로그 또는 개발 로그가 있다. 로그 데이터에 남겨지는 겂들은 텍스트 파일에 기록한 시각을 남기는 타임스탬프(timestamp)를 기본으로 추가로 여러가지 데이터를 기록한다. 디버깅 로그는 디버깅 레벨과 에러 메세지나 애플리케이션 상태, 시스템의 상태, 입력값, 반환값 등이 기록되며 행동 데이터 같은 것은 사용자의 행동이나 로그를 남기는 시점의 상태, 상태 변화, 행동의 종류, 행동에 사용한 값 같은 것을 기록한다.

과거 로그 데이터는 데이터 분석과 큰 관련이 없었다. 하지만 버려지는 웹 서버 로그 데이터에서 찾은 인사이트가 실제 비즈니스에 도움이되서 회사의 수익에 도움이 된다는 사실이 알려지면서 로그 데이터를 분석하는 것은 기본이 되었다.

((프롬프트)): 로그데이터의 예시를 보여주세요. ((AI챗봇 답)): 다양한 종류의 로그 데이터 예시를 보여드리겠습니다.

  1. 웹 서버 로그 (Apache/Nginx)
192.168.1.100 - - [25/Dec/2023:10:15:32 +0900] "GET /api/users/123 HTTP/1.1" 200 1024 "https://example.com/dashboard" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
10.0.0.45 - admin [25/Dec/2023:10:16:01 +0900] "POST /login HTTP/1.1" 401 256 "-" "curl/7.68.0"
203.0.113.15 - - [25/Dec/2023:10:16:45 +0900] "GET /static/css/main.css HTTP/1.1" 304 0 "https://example.com/" "Mozilla/5.0 (iPhone; CPU iPhone OS 16_0 like Mac OS X)"
  1. 애플리케이션 로그
2023-12-25 10:15:30 INFO  [UserService] User login successful: userId=12345, sessionId=abc123def456
2023-12-25 10:15:35 WARN  [DatabaseConnection] Connection pool usage: 85% (17/20 connections active)
2023-12-25 10:15:42 ERROR [PaymentProcessor] Payment failed: orderId=ORD-789, amount=99.99, error=INSUFFICIENT_FUNDS
2023-12-25 10:15:45 DEBUG [CacheManager] Cache miss for key: user_profile_12345, fetching from database
2023-12-25 10:15:50 FATAL [SystemMonitor] Out of memory error: heap space exhausted, available=50MB, required=120MB
  1. 시스템 로그 (Linux syslog)
Dec 25 10:15:30 web-server-01 kernel: [1234567.890] Out of memory: Kill process 12345 (java) score 900 or sacrifice child
Dec 25 10:15:31 web-server-01 systemd[1]: nginx.service: Main process exited, code=killed, status=9/KILL
Dec 25 10:15:32 web-server-01 sshd[5678]: Failed password for user admin from 192.168.1.100 port 22 ssh2
Dec 25 10:15:35 web-server-01 cron[9012]: (root) CMD (/usr/bin/backup-script.sh)
  1. 데이터베이스 로그 (MySQL)
2023-12-25T10:15:30.123456Z 123 Query SELECT * FROM users WHERE email = 'user@example.com'
2023-12-25T10:15:30.456789Z 123 Query INSERT INTO user_sessions (user_id, session_token, created_at) VALUES (12345, 'abc123', NOW())
2023-12-25T10:15:31.789012Z 124 Connect root@localhost on database_name using TCP/IP
2023-12-25T10:15:32.012345Z 124 Query SHOW PROCESSLIST
2023-12-25T10:15:33.345678Z 125 Error Table 'database_name.non_existent_table' doesn't exist
  1. 보안 로그
2023-12-25 10:15:30 [SECURITY] Login attempt from suspicious IP: 203.0.113.666, blocked by firewall
2023-12-25 10:15:35 [SECURITY] Multiple failed login attempts detected: user=admin, source_ip=192.168.1.100, attempts=5
2023-12-25 10:15:40 [SECURITY] SQL injection detected: user_id=12345, payload="'; DROP TABLE users; --", blocked=true
2023-12-25 10:15:45 [SECURITY] File upload blocked: filename=malware.exe, reason=suspicious_extension, user=guest_user
  1. JSON 형태의 구조화된 로그
json{"timestamp":"2023-12-25T10:15:30.123Z","level":"INFO","service":"user-api","message":"User registration completed","user_id":12345,"email":"user@example.com","registration_source":"mobile_app"}
{"timestamp":"2023-12-25T10:15:31.456Z","level":"ERROR","service":"payment-service","message":"Payment processing failed","order_id":"ORD-789","amount":99.99,"currency":"USD","error_code":"CARD_DECLINED","user_id":12345}
{"timestamp":"2023-12-25T10:15:32.789Z","level":"WARN","service":"notification-service","message":"High queue size detected","queue_name":"email_notifications","current_size":1500,"max_size":1000}
  1. 네트워크 장비 로그
%ASA-6-302013: Built inbound TCP connection 12345 for outside:203.0.113.10/443 (203.0.113.10/443) to inside:192.168.1.100/8080 (192.168.1.100/8080)
%ASA-6-302014: Teardown TCP connection 12345 for outside:203.0.113.10/443 to inside:192.168.1.100/8080 duration 0:02:15 bytes 4096 (TCP FINs)
%ASA-4-106023: Deny tcp src outside:203.0.113.666/1234 dst inside:192.168.1.100/22 by access-group "outside_access_in" [0x0, 0x0]
이러한 로그들은 시스템 모니터링, 보안 분석, 성능 최적화, 문제 해결 등 다양한 목적으로 활용됩니다. 각 로그는 타임스탬프, 로그 레벨, 소스, 메시지 등의 정보를 포함하고 있어 시스템의 상태와 이벤트를 추적할 수 있게 해줍니다.

로그 데이터 분석​

로그데이터는

1. 이상 탐지 및 문제 해결​

  • 오류 및 장애 진단: 로그를 분석하여 시스템 오류, 예외, 장애 발생 시점과 원인을 파악할 수 있다.
  • 이상 행동 탐지: 평소와 다른 패턴(예: 비정상적인 로그인 시도, 트래픽 급증 등)을 감지하여 보안 위협이나 시스템 문제를 조기에 발견할 수 있다.

2. 사용자 행동 분석​

  • 사용자 경로 추적: 사용자가 서비스 내에서 어떤 행동을 했는지, 어떤 경로로 이동했는지 파악할 수 있다.
  • 이탈 지점 분석: 사용자가 어느 단계에서 서비스를 이탈하는지 확인하여 UX 개선에 활용할 수 있다.
  • 전환율 분석: 로그를 통해 구매, 회원가입 등 주요 행동의 전환율을 측정할 수 있다.

3. 서비스 개선 및 비즈니스 인사이트 도출​

  • 트래픽 분석: 시간대별, 요일별, 이벤트별 트래픽 변화를 분석하여 마케팅 전략이나 서버 인프라 운영에 반영할 수 있다.
  • 기능 사용 현황 파악: 어떤 기능이 많이 사용되는지, 잘 사용되지 않는 기능은 무엇인지 파악하여 서비스 개선에 활용한다.
  • 고객 세분화: 로그 데이터를 기반으로 다양한 고객군을 분류하고, 맞춤형 서비스를 기획할 수 있다.

4. 로그 데이터 분석의 주요 절차​

  1. 로그 수집

    • 서버, 애플리케이션, 네트워크 등 다양한 소스에서 로그를 수집한다.
    • 대표적인 로그 포맷: Apache/Nginx 웹서버 로그, 시스템 로그(syslog), 애플리케이션 로그 등

  2. 전처리 및 정제

    • 불필요한 정보 제거, 포맷 통일, 타임스탬프 정렬, 결측치 처리 등
    • 대용량 로그의 경우 분산 처리(예: Hadoop, Spark) 활용

  3. 분석 및 시각화

    • 통계 분석, 패턴 탐색, 시계열 분석, 상관관계 분석 등 다양한 방법 적용
    • Kibana, Grafana, Tableau 등 시각화 도구 활용

  4. 인사이트 도출 및 활용

    • 분석 결과를 바탕으로 서비스 개선, 보안 강화, 마케팅 전략 수립 등 실제 업무에 적용

5. 로그 데이터 분석 도구 및 기술​

  • ELK 스택(Elasticsearch, Logstash, Kibana): 로그 수집, 저장, 검색, 시각화에 널리 사용한다.
  • Fluentd, Graylog, Splunk: 로그 수집 및 분석을 위한 상용/오픈소스 솔루션이다.
  • Python, R: 로그 파일을 직접 분석할 때 활용한다.

6. 로그 데이터 분석 시 주의사항​

  • 개인정보 보호: 로그에 개인정보가 포함되어 있다면 반드시 마스킹, 암호화 등 보안 조치를 해야 한다.
  • 저장 용량 관리: 로그 데이터는 빠르게 쌓이므로 저장 정책(보관 기간, 샘플링 등)을 잘 설계해야 한다.
  • 실시간 분석 필요성: 실시간 모니터링이 필요한 경우 스트림 처리 기술(예: Kafka, Spark Streaming 등)도 고려해야 한다.

로그 데이터 분석은 단순한 기록을 넘어, 서비스의 품질 향상과 비즈니스 성장에 직접적으로 기여할 수 있는 중요한 데이터 분석 분야다. 실제로 많은 IT 기업과 서비스 기업에서 로그 분석을 통해 문제를 조기에 발견하고, 사용자 경험을 개선하며, 새로운 비즈니스 기회를 발굴하고 있다.

로그 데이터란?

로그(Log)는 시스템이나 애플리케이션에서 발생하는 모든 이벤트와 활동을 시간 순서대로 기록한 데이터를 말한다. 로그는 마치 시스템의 '일기장' 같은 역할을 하며, 무슨 일이 일어났는지, 언제 일어났는지, 어떤 상태였는지 등을 자세히 기록한다.

로그의 주요 특징​

  1. 시계열성

    • 모든 로그는 발생 시간이 기록된다
    • 시간 순서대로 순차적으로 쌓인다

  2. 구조화된 형식

    • 일정한 형식(format)으로 기록된다
    • 보통 시간, 이벤트 유형, 상세 내용 등을 포함한다

  3. 누적성

    • 지속적으로 생성되고 쌓이는 특성이 있다
    • 대용량 데이터가 될 수 있다

로그의 종류​

  1. 시스템 로그

    • 운영체제나 시스템 프로세스의 활동 기록이다
    • 예: 시스템 시작/종료, 하드웨어 변경, 오류 등

  2. 애플리케이션 로그

    • 응용 프로그램의 동작과 상태 기록이다
    • 예: 프로그램 실행/종료, 오류, 예외 상황 등

  3. 웹 서버 로그

    • 웹 서버의 요청과 응답 기록이다
    • 예: 접속 IP, 요청 시간, URL, 응답 코드 등

  4. 보안 로그

    • 보안 관련 이벤트 기록이다
    • 예: 로그인 시도, 권한 변경, 보안 위반 등

  5. 사용자 행동 로그

    • 사용자의 서비스 이용 행동 기록이다
    • 예: 클릭, 페이지 조회, 검색어, 구매 등